iT邦幫忙

2024 iThome 鐵人賽

DAY 14
0
AI/ ML & Data

AI 學習紀錄系列 第 14

Day 14: Comfyui 測試3

  • 分享至 

  • xImage
  •  

關於 inpainting,在 Day 14: Comfyui 測試2 中的 mask,原先我是自己做了一張 mask,是有更方便的方式可以處理的,被我給遺漏了。
https://ithelp.ithome.com.tw/upload/images/20240828/20168318HRB3QrMeqc.png

在 Load Image 這個 node 上按右鍵,點選 Open in MaskEditor,會跳出一個小視窗,可以直接用滑鼠在上頭畫出想要的 mask 位置,畫好後按右下角的 Save to node 即可。
https://ithelp.ithome.com.tw/upload/images/20240831/201683188ylaRekufU.png
https://ithelp.ithome.com.tw/upload/images/20240831/20168318qV0UR2iUIF.png

最後把 Load Image node 的 mask 輸出連到 VAE encoder(for inpainting),不需要另外開一個 Load Image(as Mask),可以直接運行。
https://ithelp.ithome.com.tw/upload/images/20240831/20168318m70kOAjUg4.png

接著是 stable-video-diffusion,先把模型下載下來放到 checkpoints 資料夾下。
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/tree/main
https://ithelp.ithome.com.tw/upload/images/20240831/201683185AAoswpiG1.png

接下來開始建立流程,要產稱影片的話要用一個特別的 Checkpoint Loader,用來取代掉原本的 Load Checkpoint。這是專門用來讀取 圖片轉影片模型 的 node。
從這裡叫出來,loaders -> video_models -> Image Only Checkpoint Loader (img2vid model)。
https://comfyui-wiki.com/comfyui-nodes/loaders/video-models/image-only-checkpoint-loader
https://ithelp.ithome.com.tw/upload/images/20240829/20168318OginOMKJbR.png

另外找不到的話,可以在空白處點兩下左鍵,會跳出搜尋框,可以直接打字搜尋要的節點。
https://ithelp.ithome.com.tw/upload/images/20240831/20168318XPSxspnIoX.png

接下來我們需要多增加一個一個 SVD_img2vid_Conditioning。這是為 stable-video-diffusion 特製的,用來接收影像還有設定影像的各項參數。
位置在 conditioning -> video_models -> SVD_img2vid_Conditioning。
https://comfyui-wiki.com/comfyui-nodes/conditioning/video-models/svd-img2vid-conditioning.en-US#documentation
https://comfyui-wiki.com/comfyui-nodes/conditioning/video-models/svd-img2vid-conditioning.en-US#documentation
https://ithelp.ithome.com.tw/upload/images/20240829/20168318UrtUubJ8RE.png

最後還需要加上一個 SaveAnimatedWEBP 用來把 產出的 Frame 組成 WEBP。在這 image -> animation -> SaveAnimatedWEBP。
https://comfyui-wiki.com/comfyui-nodes/image/animation/save-animated-webp.en-US#documentation
https://ithelp.ithome.com.tw/upload/images/20240830/20168318Km8z6JOMup.png

最後把它們像這樣組起來,就行了。
https://ithelp.ithome.com.tw/upload/images/20240831/20168318JckVgYRy5m.png

產出的影像可以按右鍵選 save image 存下來。
gif

我們可以再加一個 VideoLinearCFGGuidance,可以提高影像品質。
sampling -> video_models -> VideoLinearCFGGuidance。
https://comfyui-wiki.com/comfyui-nodes/sampling/video-models/video-linear-cfg-guidance.en-US#documentation
https://ithelp.ithome.com.tw/upload/images/20240829/20168318J3nxsarOwu.png

把它放在 Checkpoint Loader 跟 KSampler 之間即可。
https://ithelp.ithome.com.tw/upload/images/20240831/201683185deKjmXCjK.png

結果與之前的相比,清晰了許多
gif


上一篇
Day 13: Comfyui 測試2
下一篇
Day 15: Comfyui 測試4
系列文
AI 學習紀錄30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言